lexique IA parodie

IA : Prompt injection, empoisonnement… de quoi on parle ?

B.a.bIA #3

Avatar de l'auteur
Mathilde Saliou

Publié dans

IA et algorithmes

11/04/2024 8 minutes
3

lexique IA parodie

Les expressions se multiplient, quand on parle d’intelligence artificielle. Mais qu’est-ce qu’une injection de prompt ? Et une attaque adverse ?

Prompt injection, empoisonnement et autres attaques adverses… Quand on parle d’intelligence artificielle, en particulier générative, les nouvelles expressions sont nombreuses. Dans cette édition de notre lexique de l’IA, penchons-nous sur celles qui qualifient les attaques, déjà variées, qui visent à fragiliser les modèles d’apprentissage machine ou à contourner diverses restrictions implémentées par les constructeurs. 



Nos précédents lexiques de l’IA :

Prompt injection

La suite est réservée à nos abonnés.

Déjà abonné ? Se connecter

Abonnez-vous

Écrit par Mathilde Saliou

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Prompt injection

Attaque par empoisonnement

Attaque adverse, ou par exemples contradictoires

Attaque par extraction, ou par inversion de modèle

Attaque par inférence d’appartenance

Fermer

Commentaires (3)


J'ai appris plein de chose merci.

Question de candide ;
Le cas présenté dans :
[...]
Prenons le cas d’un patient qui participerait à une étude pour définir les niveaux de difficulté d’un serious game pensé pour des personnes atteintes de la maladie d’Alzheimer, illustre le laboratoire d’innovation numérique de la CNIL (LINC). Si la détermination du niveau de difficulté est réalisé grâce à un système d’IA, un attaquant qui parviendrait à montrer la présence d’un patient dans le jeu d’entraînement du système obtiendrait du même coup son diagnostic en matière d’Alzheimer.
[...]

En quoi c'est différent de l'obtention de n'importe données d'études qui auraient été divulgué ?
Pour moi, c'est la même chose.
Juste que pour une étude normale, ces données ne sont pas diffusées.
Alors que là, une manipulation de l'IA permettrait de remonter à ces données qu'on pensait cachées.

Mihashi

Pour moi, c'est la même chose.
Juste que pour une étude normale, ces données ne sont pas diffusées.
Alors que là, une manipulation de l'IA permettrait de remonter à ces données qu'on pensait cachées.
Est-ce que serait dans le cas, dans le déroulement de l'étude et que un des candidats à qui on fait passer le test pourrait manipuler le prompt de l'IA pour avoir des infos au lieu de passer le test ?

Car sinon je ne vois pas.


PS : Mais dans ce cas ça voudrait dire aussi que l'étude ne serait pas surveillé ?